Transformers as Cross-Task Learners: Shared Structure Drives Sample Efficiency in In-Context Learning
Transformer 作为跨任务学习者：共享结构驱动上下文学习样本效率
🧭 ICL 理论 · 跨任务泛化
首次用覆盖数量化跨任务低维结构并构造 Softmax Transformer 实现 ICL 近似与泛化
📌 工作参考价值（4 点）
- 多任务预训练/指令微调时，优先构造共享底层结构的任务族（如同品类推荐、同类型 query 改写），低维任务流形可让模型在小 prompt 下完成新任务；不必盲目堆长上下文示例。
- 覆盖数/锚函数思路可迁移为“任务原型检索”：对电商 Agent 或推荐场景，先对历史任务评估函数做聚类得到代表性锚点，再对新请求做软匹配与加权聚合，缩小检索与推理空间。
- 误差界表明：当预训练任务数量足够覆盖任务空间时，prompt 长度依赖显著下降。这支持工程上优先扩充任务多样性、而非仅增加单任务样本数量。
- 主要仍是学术贡献，直接可落地的算法较少，但可为多任务模型的任务划分、数据配比与上下文长度选择提供理论直觉。